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深度 学 习 在 遥感 影像 分 类 中 的 研究 进展 
付 伟 锋 ， 邹 维 宝 


(长 安 大 学 地 质 工程 与 测绘 学 院 ,西安 710054) 


摘 要: 随 着 路 感 技术 和 计算 机 技术 的 不 断 发 展 ， 传 统 的 路 感 影像 分 类 方法 已 不 能 满足 如 今 秒 感 影像 分 类 的 需求 。 近 
年 来 ， 随 着 深度 学 习 方 面 研究 成 果 的 不 断 涌现 ， 它 给 路 感 影像 的 分 类 提供 了 一 种 新 的 思路 和 方法 。 首 先 概 述 了 路 感 
像 分 类 的 发 展 和 深度 学 习 的 基本 概念 ， 然 后 重点 介绍 了 基于 深度 置信 网 、 卷 积 神经 网 络 和 栈 式 自动 编码 器 等 深度 学 习 
模型 在 送 感 影像 分 类 中 的 研究 进展 ， 最 后 提出 了 目前 研究 中 存在 的 问题 及 遵 感 影像 分 类 的 发 展 趋势 。 
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Review of remote sensing image classification based on deep learning 


Fu Weifeng, Zou Weibao 
(College of Geology Engineering & Geomatics, Chang’an University, Xi'an 710054, China) 


Abstract: With the continuous development of remote sensing technology and computer technology, the traditional remote 


sensing image classification method can not meet the needs of remote sensing image classification. In recent years, with the 


continuous emergence of research results in deep learning, it provides a new way for the classification of remote sensing images. 
This paper first outlines the development of remote sensing image classification and the basic concepts of deep learning, and 
then focuses on the research progress in the classification of remote sensing images based on the deep learning model such as 
deep belief network, convolutional neural network and stacked auto-encoder. Finally, the existing issues and the future directions 


of remote sensing image classification based on deep learning are summarized. 
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0 as 光谱 、 纹 理 等 特征 ， 通 过 统计 模式 识别 方法 实现 遥感 影像 的 解 
= 译 ， 如 最 大 似 然 法 、 最 小 距离 法 、K- 均 值 聚 类 法 等 。 但 是 针对 


Ht 


遥感 技术 作为 一 种 重要 的 对 地 观测 技术 ,能 够 从 人 造 卫星 、 ”高 分 辨 遥感 影像 中 大 量 的 细节 信息 和 地 物 光 谱 的 复杂 化 问题 分 
飞机 或 其 他 飞行 器 上 收集 地 物 目标 的 电磁 辐射 信息 ， 进 而 判定 。 ”类 准确 率 下 降 。 因此 , 新 的 方法 如 人 工 神 经 网 络 叫 、 支 持 向 量 机 
地 球 上 的 环境 和 资源 。 随 着 遥感 影像 技术 的 不 断 进步 ， 遥 感 影 。” 是 、 遗 传 算法 外、 面向 对 象 晤 等 被 用 于 遥感 影像 的 解 译 中 ， 虽然 
像 逐 渐 呈 现 出 高 光谱 、 高 空间 、 高 时 间 分 辩 率 的 特点 口 。 目 前 ， 取得 了 很 好 的 分 类 效果 ， 但 是 自动 化 程度 不 高 。 近 年 来 ， 深 度 
随 着 遥感 影像 不 断 被 应 用 于 矿产 勘探 、 精 准 农业 、 城 市 规划 、 学 习 的 出 现 多 为 遥感 影像 的 解 译 提供 了 一 种 新 的 方法 ， 它 是 一 
林业 测量 、 军 事 目标 识别 和 灾害 评估 中 ， 对 影像 的 分 类 精度 和 ”种 深层 次 结构 的 神经 网 络 ， 比 人 工 神经 网 络 、 支 持 向 量 机 等 浅 
效率 要 求 不 断 被 提高 。 但 是 遥感 影像 的 分 类 受到 多 种 因素 影响 ， 展 结构 的 模型 能 够 更 好 的 提取 遥感 影像 的 特征 ， 实 现 对 高 光谱 


如 遥感 影像 的 波段 选择 、 复 杂 的 地 表 信 息 等 使 得 影像 分 类 比较 ”遥感 影像 的 降 维 ， 并 在 影像 分 类 中 取得 了 比 以 往 更 高 的 精度 ， 
困难 。 在 遥感 影像 的 应 用 中 一 般 要 对 影像 进行 分 类 ， 而 遥感 影 ”能 够 更 好 的 推动 遥感 影像 自动 化 、 智 能 化 解 译 的 发 展 。 深 度 学 
像 目标 特征 的 有 效 提 取 和 表达 则 是 影像 分 类 中 的 重点 。 习 的 优点 是 能 够 更 好 的 进行 特征 选择 与 特征 提取 ， 遥 感 影像 的 

遥感 影像 分 类 是 一 个 复杂 的 数据 处 理 过 程 ， 传 统 的 目 视 解 ”应 用 基础 是 要 有 好 的 分 类 精度 ， 而 分 类 精度 主要 和 影像 的 特征 
译 方法 虽然 简单 易 操 作 、 灵 活性 强 ， 但 是 需要 解 译 人 员 具 有 丰 “提取 和 特征 选择 有 关 ， 运 用 深度 学 习 技术 能 够 很 好 的 提取 遥感 


BOE Jak 
富 的 经 验 、 专 业 的 知识 ， 而 且 花 费时 间 长 、 解 译 精度 差 ， 己 经 影像 的 特征 ， 进 而 提升 影像 的 分 类 精度 ， 使 其 在 实际 运用 中 发 
不 适合 当今 的 海量 遥感 影像 分 类 。 后 来 ， 人 们 利用 遥感 影像 的 挥 更 好 的 效果 。 
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录用 稿 付 伟 锋 ， 等 : 深度 学 习 在 路 感 影像 分 类 中 的 研究 i 


内 型 的 深度 学 习 模 型 主要 有 深度 置信 网 (deep belief 取 影 像 特征 和 图 像 分 类 ， 而 且 也 可 以 用 于 空 谱 分 类 ,但 是 学 > 
network, DBN) [9、 栈 式 自 动 编码 器 网 络 (stacked auto-encoder 率 和 分 类 的 精度 之 间 需 要 进一步 平衡 03。 之 后 ,Chen 等 根据 高 
network, SAE)I 和 卷 积 神经 网 络 (convolutional neural network, 光谱 数据 在 光谱 和 空间 变化 下 的 数据 特性 ， 提 出 基于 DBN 的 


àl 


CNN) 名， 本文 将 分 别 介绍 这 三 个 模型 在 遥感 影像 分 类 中 的 应 。 一 种 新 的 特征 提取 和 影像 分 类 方法 用 于 高 光谱 数据 的 特征 学 习 
用 以 及 研究 进展 ， 最 后 对 这 三 个 模型 在 遥感 影像 分 类 领域 中 的 ”和 分 类 问题 ， 有 效 地 解决 了 由 于 数据 复杂 和 样本 数目 有 限 而 引 
应 用 情况 进行 比较 分 析 ， 指 出 目前 存在 的 问题 ， 并 展望 了 遥感 。 起 的 问题 多 。Zhou 等 人 (5 提出 的 分 组 置信 网 络 在 高 光谱 遥感 
影像 分 类 的 未 来 发 展 方向 。 影像 的 空 谱 分 类 中 能 够 取得 了 更 好 的 结果 ， 分 组 置信 网 络 是 结 


ee 合 了 高 光谱 特征 的 分 组 知识 和 深度 神经 网 络 ， 能 够 减少 与 神经 

| ND 网 络 连接 的 多 余 特征 分 组 之 间 的 权重 ， 进 而 为 空 谱 分 类 去 除 大 
1.1 DBN 模型 简介 量 多 余 的 光谱 波段 ,最 新 研究 表明 ,Zhong 等 人 提出 多 元 化 DBN 
DBN 是 由 多 个 RBM 堆 镭 而 成 的 概率 生成 模型 ， 具 有 三 个 ” 模型 ， 先 用 非 监督 学 习 预 训练 未 标记 的 样本 ， 再 用 监督 学 习 微 
隐藏 层 的 典型 DBN 模型 如 图 1 所 示 。DBN 的 底层 接收 数据 训 。 ”调解 决 样本 少 的 问题 ， 然 后 引入 多 元 化 处 理 运 用 DBN 时 隐藏 
练 集 ， 第 一 个 RBM 模型 是 高 斯 - 伯 努 利 RBM， 其 余 的 RBM 模 单元 参数 持续 反映 和 无 应 答 的 情况 ， 取 得 了 比 最 初 的 DBN 模 


型 是 伯 努 利 - 伯 努 利 RBM。DBN 的 学 习 过 程 主要 包括 预 训练 和 ”型 以 及 其 他 的 方法 用 于 高 光谱 遥感 影像 分 类 时 更 好 的 精度 91。 
微调 两 个 阶段 , 预 训练 时 采用 逐 层 训练 的 方式 对 各 层 中 的 RBM 1.2.2 DBN RAAB DH EBRD A 

进行 单独 训练 ， 并 且 层 之 间 的 权重 和 偏差 被 固定 和 保存 用 于 进 高 分 辨 率 遥 感 影像 虽然 为 人 们 理解 世界 提供 了 准确 的 信息 ， 
一 步 的 分 析 。 在 微调 阶段 , DBN 模型 的 权重 和 偏差 将 通过 使 用 ”但 是 也 为 遥感 影像 领域 的 智能 解 译 带 来 了 挑战 。 以 前 的 像素 级 


标记 的 输入 数据 的 反 向 传播 算法 进行 更 新 ， 有 具体 的 细节 可 以 参 “影像 分 类 方法 随 着 遥感 影像 分 辩 率 的 提高 已 经 不 在 适用 ， 因 为 
BPI, 单个 像素 可 能 存在 有 不 同类 型 的 地 物 。2013 Æ, Chen 等 人 用 
DBN 模型 提取 高 分 辩 率 遥感 影像 中 的 飞机 ， 利 用 DBN 能 够 学 


习 特 征 和 利用 BP 调整 参数 的 特点 证 实 了 比 传统 特征 分 类 器 的 
提取 方法 更 好 07。2014 年 ，Zou 等 人 提出 将 影像 的 特征 选择 问 
题 转换 为 DBN 中 的 重 构 问 题 用 于 高 分 辩 率 遥感 影像 的 分 类 ， 
在 RSSCN7 数据 集 上 验证 总 体 分 类 精度 达到 了 77%, 但 是 运 
行 时 间 相 比 直 接 使 用 DBN 进行 影像 分 类 较 长 09.2016 年 , Diao 
REM: 等 人 结合 DBN 的 无 监督 特征 学 习 和 视觉 显著 性 的 优点 ， 有 效 
的 避免 了 在 图 像 上 进行 穷 举 搜索 并 产生 少量 的 边界 框 ， 从 而 可 
以 快速 准确 地 定位 目标 ， 但 是 这 种 方法 不 能 很 好 的 检测 多 尺度 
物体 09]。 
由 于 SAR 影像 具有 全 天 候 、 全 天 时 、 不 受 大 气 传播 和 气候 

影响 、 穿 透 力 强 的 特点 , 越 来 越 多 的 SAR 影像 被 用 于 土地 利用 
1.2 基于 DBN 模型 的 遥感 影像 分 类 研究 进展 和 土地 覆盖 的 监测 、 军 事 侦 察 卫星 等 领域 。 但 是 影像 分 类 时 
随 着 近年 来 深度 学 习 的 不 断 发 展 , DBN 模型 不 断 被 应 用 于 征 选 择 比 较 困 难 ，Dou 等 人 于 2014 年 首次 将 DBN 模型 用 于 
语音 、 图 像 数 据 集 的 处 理 上 面 并 取得 不 错 的 成 果 0020。2010 年 SAR 影像 中 的 城市 地 图 的 制作 RI。 之 后 ，Radu 等 提出 一 个 卷 
Mnih 和 Hinton 将 首次 将 DBN 模型 应 用 于 对 机 载 遥 感 影像 中 积 DBN 模型 用 于 极 化 SAR 影像 的 特征 提取 , DBN 模型 可 以 逐 
的 道路 检测 ， 证 实 了 DBN 模型 能 够 很 好 的 提取 出 影像 的 特征 ” 层 的 提取 更 高 层次 的 特征 ， 然 后 利用 卷 积 的 特征 不 变形 将 其 扩 
取得 很 好 的 分 类 效果 [中 。 但 是 随 着 高 光谱 、 高 分 辨 率 遥 感 影 。” 展 到 极 化 SAR 影像 ,能 够 有 效 的 提取 出 极 化 SAR 影像 的 特征 ， 
像 以 及 合成 孔径 雷达 (synthetic aperture radar, SAR) 影像 的 数 在 通过 对 德国 Kaufbeuren 机 场 的 全 极 化 多 视 F-SAR 图 像 的 分 
据 越 来 越 多 ， 遥 感 影像 的 分 类 也 出 现 了 新 的 问题 。 下 面 将 分 别 ”类 验证 中 取得 了 88.7% 的 精度 CD 。 


NN fa , 
)) | )) 人 (( )) ASU (v) 
ZBI YY VY 


图 1 DBN 网 络 结构 图 


ot 


介绍 基于 深度 学 习 中 的 DBN 模型 在 高 光谱 遥感 影像 和 高 分 状 近年 来 ， 由 于 DBN 模型 具有 无 监督 学 习 的 特征 和 能 够 更 
遥感 影像 中 的 应 用 和 研究 进展 。 好 的 提取 影像 中 的 特征 ， 越 来 越 多 的 基于 DBN 模型 的 方法 不 
1.2.1 DBN 模型 在 高 光谱 喧 感 影像 中 的 应 用 断 被 提出 用 于 高 光谱 影像 和 高 分 辨 率 遥 感 影像 的 分 类 ， 高 光谱 

高 光谱 遥感 影像 的 分 类 方法 一 般 是 基于 混合 像 元 分 解 、 特 ”影像 的 数据 复杂 和 样本 数 有 限 问题 、 高 分 影像 的 精细 分 类 和 目 


征 空 间 的 分 类 和 光谱 匹配 的 影像 分 类 。 但 是 由 于 Hudge 现象 、 ” 标 检 测 以 及 SAR 影像 的 特征 提取 问题 都 将 随 着 深度 学 习 模 型 
有 限 的 训练 样本 和 光谱 特征 的 空间 变异 性 使 得 影像 的 分 类 比较 。” ”的 不 断 改 进 以 及 与 空间 信息 纹理、 大 小 、 形 状 、 位 置 等 ) 的 
困难 。2014 年 ，Li 等 人 将 DBN 引入 高 光谱 遥感 影像 中 用 来 担 ”结合 而 取得 更 好 的 效果 。 
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RAB 
2 基于 CNN 的 遥感 景 
2.1 CNN 模型 介绍 
卷 积 神经 网 络 是 


种 前 馈 神 


经 网 络 ， 


ART 


它 是 受 生物 学 上 感受 


野 (respective field) 的 机 制 而 提出 的 。20 世纪 60 年 代 ，Hubel 


等 人 通过 对 猫 


视觉 皮层 细胞 的 研究 ， 提 出 了 感受 野 这 个 概念 2 。 


1980 年 ，Fukushima 基于 
LER 
算法 的 CNN 架构 ， 


首次 成 


感受 野 概念 提 
经 认 知 机 P3]。1998 Æ, LeCun 等 成 功 地 训 
功 应 用 于 


出 了 第 


BRAM, 


是 一 个 多 层 感知 机 ， 但 是 由 于 它 
间或 时 间 上 的 次 采样 特性 
具有 一 定 程度 上 的 平移 、 缩 放 和 捏 


的 


使 得 卷 积 


局 部 连 


DERRY 


| 练 基于 反 向 传播 


接 、 权 重 


申 经 网 


CNN 本 质 上 
t 享 以 及 空 


经 网 络 在 处 理 


二 维 图 形 上 


不 变性 。 


典型 的 CNN 结构 是 由 输入 


、 卷 积 / 


、 池 化 / 


、 全 连接 层 


多 


[S] 


构成 ， 每 一 层 有 多 个 特征 
提取 输入 的 一 种 特征 ， 如 图 
CNN 的 训练 是 通过 反 向 
更 新 卷 积 神经 网 络 的 权重 和 


输入 层 卷 积 层 Cl | 池 化 层 S1 | 
图 2 卷 积 神经 网 


， 每 个 特 和 
2 所 示 。 
传播 和 随机 梯度 下 降 进行 的 , 逐 


RE, NIETS XR, 


TR | 


FE 图 通过 


卷 积 层 C2 


络 结构 


图 


2.2 基于 CNN 模型 的 遥感 影像 分 类 研究 进展 


虽然 CNN 模型 已 经 提出 许多 年 
直到 2012 年 Krizhevsky 等 人 提 


Hy 


种 卷 积 


滤波 器 


| 池 化 层 S2 | 全 连接 层 


,但 是 


直 没 有 受到 重视 ， 


| 练 CNN 模型 运用 于 


图 像 的 


分 类 在 InageNet 比赛 中 取得 了 很 好 的 分 类 结果 比 第 二 名 高 约 


10 个 百分点 Cg9， 此 后 CNN 模型 被 ) 


识别 、 目 标 检测 中 RI。CNN 的 权 值 共享 特 怕 


参数 训练 数量 ， 对 高 维 数据 的 处 理 


图 


泛 运用 于 


像 分 类 、 人 脸 


有 明显 的 


手动 选取 特 


征 ， 只 需 训 练 好 权重 ， 就 


可 以 很 好 的 


可 以 减少 网 络 的 
亿 势 ， 而 且 不 用 
提取 特征 。 但 


是 CNN 也 有 许多 缺点 ， 易 于 过 拟 合 


练 样本 来 提 

FS be HH 

2.2.1 CNN 48 2! A GHEY 
高 光谱 遥感 图 像 中 包含 了 丰富 


高 模型 


区 


需要 大 量 的 


PF 的 应 用 
的 光谱 和 空 


CNN 具有 局 部 连接 、 权 值 共享 等 特 
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从 目前 基于 深度 学 习 的 遥感 影像 分 类 中 存在 的 问题 ， 可 以 


发 现 未 来 将 深度 学 习 用 于 遥感 影像 分 类 时 ， 有 以 下 几 个 方向 值 

步 研究 : 
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移 学 习 、 极 限 学 习 机 和 数据 增强 等 方法 对 样本 数量 进行 扩容 ， 
可 以 有 效 地 解决 样本 容量 有 限 的 造成 的 过 拟 合 问题 。 

c) 可 以 把 深度 学 习 中 的 模型 进行 结合 用 于 遥感 影像 的 分 类 ， 
如 卷 积 DBN、 卷 积 自 动 编码 器 等 模型 可 以 刀 9 的 优势 ， 
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目前 , 遥感 影像 分 类 中 使 用 较 多 的 仍然 是 传统 的 分 类 方法 。 
近年 来 ， 随 着 深度 学 习 的 提出 并 不 断 发 展 ， 这 种 方法 不 断 被 应 


于 遥感 影像 的 分 类 中 ， 虽 然 影 像 的 分 类 精度 有 明显 提高 ， 但 
在 一 些 不 足 。 为 了 进一步 提高 分 类 ， 综 合 利 用 各 种 信息 
行 遥 感 影像 的 分 类 是 非常 必要 的 。 本 文 主要 介绍 了 深度 学 习 
的 三 个 主要 模型 和 它们 在 遥感 影像 分 类 中 的 具体 应 用 ， 总 结 J 
限制 遥感 影像 分 类 精度 的 原因 和 各 个 模型 的 优点 。 同 时 也 介绍 
了 大 量 国内 外 学 者 在 深度 学 习 和 遥感 影像 分 类 方面 中 的 一 些 研 
究 以 及 存在 的 问题 ， 未 来 随 着 遥感 技术 和 计算 机 技术 的 不 断 发 
展 ， 影 像 的 智能 化 解 译 将 是 一 个 重要 的 发 展 趋势 。 
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